Beyond Downstream QA: Rethinking How We Evaluate Agent Memory
超越下游问答：重新思考如何评估 Agent 记忆
🧭 Agent 记忆评估 · 内在指标 ★ 深度解读
Amazon Web Services · Technical University of Cluj-Napoca
提出 FEB-30 事实演化基准与内在评估方法，证明仅靠 QA 评估会掩盖记忆存储层故障
📌 工作参考价值（4 点）
- 在构建 Agent 长期记忆或用户/商品画像记忆时，不要只用端到端任务指标（如下游推荐/回答准确率）评估记忆模块；应定期对比存储的 profile、事件状态与 ground truth，计算 claim coverage、更新检测召回、误更新率，定位是抽取、合成还是检索瓶颈。
- 可借鉴 paradigm inversion：用多模型轮换和 judge 校验生成带 ground truth 的时序事实轨迹（如用户兴趣演变、商品属性变更、库存/价格状态变化），低成本构建 memory 回归测试集。
- 注意记忆写路径的操作分类质量：论文代表性系统 revise 操作仅 20% 分类正确、false update 22%；建议对 create/update/reinforce/supersede 决策单独评估，并引入 temporal guard，但需避免把应 update 的旧信息错误降级为 reinforce。
- 检索瓶颈与 LLM 补偿问题在电商推荐中同样存在：画像正确但 embedding 召回不匹配会导致失败，强 LLM 可能用部分结果生成看似正确答案；建议同时监控检索命中率和生成结果，区分故障层。